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Введение. Своевременное устранение дефектов (трещин, 
сколов и пр.) на участках повышенной нагрузки дорожно- 
го полотна позволяет снизить риск возникновения ава- 
рийных ситуаций. В настоящее время для контроля состо- 
яния дорожного покрытия применяются различные мето- 
ды фото- и видеонаблюдения. Оценка и анализ получен- 
ных данных в ручном режиме могут занять недопустимо 
много времени. Таким образом, необходимо совершен- 
ствовать процедуры осмотра и оценки состояния объектов 
контроля с помощью технического зрения. 

Материалы и методы. Авторами предложена модель глу- 
бокой сверточной нейронной сети для идентификации 
дефектов на изображениях дорожного покрытия. Модель 
реализована как оптимизированный вариант наиболее 
популярных на данный момент полностью сверточных 
нейронных сетей (ЕСММ). Показано построение обучаю- 
щей выборки и двухэтапный процесс обучения сети с уче- 
том специфики решаемой задачи. Для программной реа- 
лизации предложенной архитектуры использовались 
фреймворки Кегаз и ТепзогЕю\у. 

Результаты исследования. Применение предложенной 
архитектуры эффективно даже в условиях ограниченного 
объема исходных данных. Отмечена высокая степень по- 
вторяемости результатов. 

Модель может быть использована в различных задачах 
сегментации. Согласно метрикам, ЕСММ показывает сле- 
дующие результаты идентификации дефектов: 00 — 
0,3488, П1се — 0,7381. 

Обсуждение и заключения. Полученные результаты могут 
быть использованы в процессе мониторинга, моделирова- 
ния и прогнозирования процессов износа дорожных по- 
крытий. 


Ключевые слова: искусственные нейронные сети, иден- 
тификация дефектов, сегментация, дорожное покрытие, 
трещины, 1010, ГУ\се. 
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Введение. Износ дорожного покрытия требует регулярного контроля. Эффективные стратегии монито- 
ринга позволяют своевременно обнаруживать проблемные участки. Такой подход значительно повышает эф- 
фективность технического обслуживания дорог, сокращает расходы на их содержание и обеспечивает непре- 
рывную эксплуатацию. Технологии выявления критических признаков состояния дорожного покрытия эволю- 
ционировали от ручных методов фотофиксации до использования высокоскоростной цифровой техники [1]. 

Россия входит в пятерку стран с наибольшей протяженностью автомобильных дорог. Для фото- и ви- 
деомониторинга столь масштабной инфраструктуры необходимы системы одновременно оперативные, надеж- 
ные и простые в использовании. Очевидно, что в данном случае речь не идет о решениях, предполагающих 
анализ данных в ручном режиме. Такой подход неприемлем из-за значительных временных затрат на обработку 
информации и невысокого качества анализа. 

Авторы данной работы предлагают новое технологическое решение в сфере машинного обучения. Его 
реализация позволяет автоматизировать процесс оценки качества дорожного покрытия. С этой целью сверточ- 
ная нейронная сеть обучается на данных, размеченных вручную. Таким образом система учится распознавать и 
оценивать основные виды повреждений объектов контроля. 

Обзор литературы. Многие исследования посвящены совершенствованию алгоритмов обнаружения 


дефектов в деталях конструкций и на объектах инфраструктуры. Для решения указанной задачи широко ис- 
пользуются возможности компьютерного зрения. Их постоянное совершенствование поддерживается развити- 
ем технологий зондирования, прогрессом в аппаратном и программном обеспечении. Однако следует признать, 
что в настоящее время компьютерное зрение используется ограниченно. Это обусловлено многими факторами, 
в числе которых: 

— неоднородность дефектов, 

— разнообразие типов поверхностей, 

— сложность фона, 

— примыкания. 

Авторы ряда публикаций исследуют автоматизированные методы обнаружения трещин на изображе- 
ниях и предлагают собственные решения [2-9]. В некоторых работах рассматривается специфика мониторинга 
объектов дорожно-транспортной инфраструктуры [10, 11], а также мостов и сооружений [12, 13]. 

До недавнего времени для решения указанных задач использовались в основном ручные техники мони- 
торинга, такие, как: 

— морфологические операции [13], 

— анализ геометрических особенностей [6], 

— применение фильтров Габора [14], 

— вейвлет-преобразования [15], 

— построение гистограмм ориентированных градиентов (НОС, №1$юэтапл$ опеше4 отаФет{5) [16], 
— текстурный анализ, 

— машинное обучение [4]. 

Однако сейчас перечисленный инструментарий используется все реже. Его вытесняет глобальное рас- 
пространение нейросетевых технологий и машинное обучение, поддерживаемое вычислительными мощностя- 
ми графических процессоров. 

Сверточная нейронная сеть (СММ, сопуо#опа! пеига] пебмотК) — это многослойная архитектура ис- 
кусственной нейронной сети, специально предназначенная для работы с изображениями [17]. В этом случае 
слой субдискретизации (рооПпс 1ауег) позволяет реализовать локальные восприимчивые поля через сверточные 
слои и инвариантность относительно малых геометрических деформаций. 

Данная архитектура демонстрирует выдающиеся результаты в решении следующих задач распознава- 
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— рукописных цифр [18], 
— номеров домов на основе набора данных Соозе Энее\Улеми Бозе питбег (ЗУНМ) [19], 
— дорожных знаков [20]. 

Рост вычислительных мощностей графических процессоров позволяет использовать более глубокие 
архитектуры моделей машинного обучения [21]. Появилась возможность избежать переобучения [22]. Этому 
способствует развитие таких современных техник, как увеличение данных, регуляризация и др. 

Совершенствование сверточных нейронных сетей открывает возможность более эффективного изуче- 
ния и обобщения особенностей изображений (например, классификации изображений [23], поиска объек- 
тов [24], обнаружения транспортных средств [25]). 

Гибкость и перспективность глубокого обучения для задач автоматического обнаружения трещин до- 
рожного покрытия показана в работах [26, 27]. 

В [28] рассматривается использование нейронных сетей для автоматического обнаружения и классифи- 
кации трещин в асфальте. Авторы предлагают использовать среднее значение и дисперсию значений оттенков 
серого. С учетом этих показателей изображение делится на фрагменты, после чего каждая ячейка классифици- 
руется как трещина. Была показана целесообразность использования дефлектометров с падающим грузом 
(Е\/О, 21 хезЫ деЙесютеегз) для оценки трещин асфальта. В 98% случаев система эффективно обнаружива- 
ет трещину на изображении. 

В работе [29] исследовано применение нейронной сети для обнаружения дефектов. Выяснились пре- 
имущества метода кластеризации пикселей как объектов. Она позволяет увеличить точность идентификации и 
уменьшить шум. 

В работе [30] авторы использовали архитектуру глубокого обучения, которая включает модель УСС- 
16. Ее предварительно обучили выявлять особенности, которые позволяют различать классы изображений. Мо- 
дель продемонстрировала отличное качество распознавания даже в работе с изображениями из неизвестных ей 
областей. СММ УСО-16 используется в качестве глубокого генератора признаков изображений дорожного по- 
крытия. Авторы обучали только последний слой классификатора. Они провели эксперименты с различными 
моделями машинного обучения, показали их сильные и слабые стороны. 

В работе [31] показано применение СММ в прикладной робототехнической задаче. Речь идет об авто- 
номном обнаружении и оценке состояния трещин и повреждений в канализационной трубе. СММ фильтрует 
данные и локализует трещины, что позволяет получить характеристику их геометрических параметров. 

Цель работы [32] — автоматизация последовательного обнаружения сколов и численное представление 
разрушения в сетях метрополитена. Для этого создается интегрированная модель, реализующая гибридный ал- 
горитм и интерактивное ЗО-представление. Прогнозирование глубины сколов поддерживается регрессионным 
анализом. 

В [33] представлены обзор и оценка перспективных подходов, позволяющих автоматически обнаружи- 
вать трещины и коррозию в системах гражданской инфраструктуры. 

В [34] описана эффективная архитектура на основе СММ для обнаружения трещин дорожного покрытия 
на трехмерной поверхности асфальта. Архитектура СгасКМ\е( обеспечивает высокую точность обработки дан- 
ных, благодаря оригинальному методу представления геометрии дорожного покрытия. СгаскКМей состоит из пя- 
ти слоев и включает более миллиона обучаемых параметров. Эксперименты с использованием 200 тестовых 
З)-изображений показали, что точность СгасКМе( может достигать 90,13 %. 

Предлагаемый метод. Для идентификации дефектов на изображениях дорожного покрытия нужно 
определить, что является дефектом, а что нет. Иными словами, следует провести сегментацию изображения и 
выделить соответствующие классы. В последнее время данный тип задач эффективно решается с помощью 
специально разработанных архитектур сверточных нейронных сетей, таких, как: Зе» Мей [35], 9-Ме! [36]. 

Специфика изображений дорожного покрытия заключается в неболышом диапазоне оттенков серого 
цвета и незначительной разнице между фоном и целевым объектом. Кроме того, задачу усложняют шумы, де- 


фекты и наличие на изображении посторонних объектов. 
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Используются различные наборы данных, на которых обучаются нейронные сети [7, 37]. В эти наборы 
входят оригинальные изображения дорожного покрытия и соответствующие им изображения-маски с дефекта- 
ми или без них. Изображения с дефектами на дорожном покрытии специфичны, поэтому авторы предлагают 
собственную упрощенную модель глубокой сверточной нейронной сети. Для сегментации изображения предла- 
гается полностью сверточная нейронная сеть (ЕСММ, Пу сопуо[айопа] пеига| пебмотК) [38] со структурой «эн- 
кодер — декодер». На вход системы подается изображение дорожного покрытия, а на выходе получается би- 
нарное изображение. В результате создается сегментированное изображение, показывающее наличие или от- 
сутствие дефектов. 

Архитектура глубокой сверточной нейронной сети. На рис. | показана архитектура предлагаемой 


глубокой сверточной нейронной сети. 
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Входное изображение [| Слой субдискретизации (МахРоойпЕ) 
[| Сверточный слой + ВМ + ВеЦ/ [8 слой увеличения разрешения (ИрбатрИпе) 
Г | Сверточный слой + ето 


Рис. 1. Архитектура предложенной сети 


Нейронная сеть стоит из двух частей — сверточной и разверточной. Сверточная часть преобразу- 
ет входное изображение в многомерное представление признаков. Иными словами, она выполняет функ- 
цию извлечения признаков. Разверточная сеть играет роль генератора, который создает сегментирован- 
ное изображение на основе признаков, полученных от сверточной сети. Последний сверточный слой се- 
ти с сигмовидной активационной функцией генерирует сегментированное изображение — карту вероят- 
ностей наличия дефекта такого же размера, что и на входном изображении. 

Первая часть сети состоит из пяти сверточных слоев с наборами фильтров (256, 128, 64, 64, 64). 
Применяется инструмент «нормализация партии» (ВМ, БасЬ погтаПхайоп) [39]. В качестве активацион- 
ных функций используется «выпрямитель» (КеГО, тесийНе4 Ппеаг ипИ). Далее следуют слои субдискрети- 
зации (роо!пз) с окном 2х2. Проходя через этот слой, изображение уменьшается в два раза. Вторая 
часть сети является зеркальным отражением первой. Размер изображения необходимо восстановить до 
исходного и сформировать карту вероятностей, основываясь на признаках входного изображения. С этой 
целью применяются слои повышающей дискретизации (ирзатрПп-слои) в комбинации со сверточными 
слоями. Предложенная нейронная сеть имеет 10 сверточных слоев и 929 665 обучаемых параметров. 

Подготовка набора данных. Для обучения построенной модели используется набор данных 
СтаскЕогез{ [7]. Проводится его аугментация (искусственное увеличение набора данных), так как обуче- 
ние и работа нейронной сети основана на ра-Базе4 подходе, который предполагает использование вы- 
резанных случайным образом элементов исходных изображений. 

Итак, набор данных состоит из 117 изображений. Он разделяется на обучающую, тестовую и ва- 
лидационную выборки. Для каждого изображения из обучающей и тестовой выборки случайно выбира- 
ются фрагменты размером 64х64. Исследования показали, что в рамках поставленной задачи гамма- 
коррекция изображений повышает качество работы нейронной сети. Каждый фрагмент изображения 
подвергается вращению, отражению и деформации. Было установлено оптимальное соотношение фраг- 
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ментов с дефектом и без него: 95 % к 5 %. При этом учитываются дефекты, которые занимают не менее 
5 % площади изображения. Размер выборки влияет на процесс обучения и качество работы сети. Уста- 
новлено оптимальное соотношение: 15 200 фрагментов обучающей выборки и 3 968 тестовой. На рис. 2 
показаны изображения и соответствующие им маски, применяемые для обучения нейронной сети. 
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Рис. 2. Изображения и соответствующие им бинарные маски, полученные в результате аугментации данных 


Обучение нейронной сети. Для обучения и оценки работы нейронной сети применяются метрики пе- 
ресечения между двумя обнаружениями (пиегзесйоп оуег итоп, 100, коэффициент Жаккара) и эквивалентная 
бинарная мера схожести (41се, мера Сёренсена). В качестве функции потерь используется функция 1 — ]: 


о — лов 
ДА, В) — ов’ 5 (А В) и [АВЕ 


Инициализация весов в слоях нейронной сети осуществляется методом Глорота [40]. Для уменьшения 
внутреннего ковариационного сдвига выполняется нормализация партии путем нормализации входных распре- 
делений каждого слоя. Для обучения используется Адат-алгоритм (метод стохастической оптимизации) [41]. 

На первом этапе нейронная сеть обучается на небольшом объеме данных (30 % от основного набора) в 
течение 5 эпох. На втором этапе сеть обучается на полном объеме данных необходимое количество эпох. Ко- 
эффициент скорости обучения (еагише га) изменяется с каждой эпохой по установленной зависимости 
(рис. 3). 
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Рис. 3. Изменение коэффициента скорости обучения сети в зависимости от эпохи 


В рамках поставленной задачи установлено, что оптимальное количество эпох обучения равно 25 (5 
эпох на первом этапе обучения и 20 — на втором). При большем количестве эпох точность работы нейронной 
сети существенно не менялась. 

Для реализации разработанной архитектуры глубокой СММ использованы фреймворки Кегаз и Тепзог- 
Ео\. 
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Результаты исследования. После обучения нейронной сети производится валидация на тестовых дан- 


НЫХ. Каждый фрагмент изображения подается на вход сети, а на выходе получается сгенерированная карта ве- 


роятностей наличия дефекта. На рис. 4 показаны результаты работы обученной сети и их сравнение с истинны- 


ми значениями из тестовой выборки. 
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Рис. 4. Результаты работы обученной нейронной сети 


На рис. 4 данные разнесены в четыре столбца: 


2) результат работы нейронной сети, 
3) дефект, выделенный человеком вручную, 
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4) разница между 2) и 3). 
Предположения сети сравниваются с истинными значениями. Значения метрик Го и Псе обусловлены 
специфическими соотношениями следующих факторов: 
— площади дефекта и площади всего изображения, 
— двоичной (однобитовой) маски и действительного (4-байтового) генерируемого изображения. 
Стоит отметить, что при использовании 100 для фрагментов без дефекта значения метрики равны 0 


(рис. 5). 
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Рис. 5. Количество изображений, идентифицированных с определенной точностью 


Качество подготовленного набора данных существенно влияет на обучение и результат работы 
нейронной сети. В некоторых случаях нейронная сеть указывает на дефект, хотя его нет на истинном изображе- 
нии, или наоборот. Это сказывается на общей оценке качества работы модели. В целом, оценка точности рабо- 
ты нейронной сети по предложенным метрикам может быть субъективной, поэтому не стоит воспринимать 
данные рис. 4 как абсолютные. 

В рамках представленной работы оценены некоторые модели ЕСМ№-сетей. Результаты приведены в 
табл. 1. 














Таблица 1 
Точность работы некоторых моделей нейронных сетей 
Архитектура сети Точность работы 
10 слоев (256, 128, 64, 64, 64, ...), 929 665 параметров Пусе: 73,81 %, 010: 34,88 % 
16 слоев (32, 32, 16, 16, 16, 8, 8, 8, ...), 43 441 параметров Пусе: 70,40 %, 0: 33,24 % 
12 слоев (32, 32, 16, 16, 8, 8, ...), 37 537 параметров Пусе: 67,57 %, ТоП: 32,12 % 














Здесь в скобках указано количество фильтров на первой части сети. Количество фильтров на второй 
части сети зеркально отражено (рис. 1). 

Для обработки изображений высокого разрешения применяется метод скользящего окна с заданным 
шагом, регулирующим скорость обработки и детализацию — так формируется результирующая карта вероят- 
ностей наличия дефекта для всего изображения. Несколько изображений из валидационного набора и результат 
обработки их нейронной сетью представлены на рис. 6. 
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Рис. 6. Валидационные изображения, обработанные обученной ЕСМ 


Обсуждение и заключения. Предложена модель глубокой сверточной нейронной сети для идентифи- 
кации дефектов на изображениях дорожного покрытия. Модель реализована как упрощенный и оптимизиро- 
ванный вариант ЕСМ-сетей, наиболее популярных на данный момент. Представлены техники построения обу- 
чающей выборки и двухэтапного процесса обучения сети с учетом специфики решаемой задачи. Проделанная 
работа показала, что применение подобных архитектур успешно при небольшом количестве исходных данных. 
Отмечена высокая степень повторяемости результатов. Описанная модель может быть использована в различ- 
ных задачах сегментации. Согласно метрикам, ЕСММ показывает следующие результаты: 100 — 0,3488, О1се — 
0,7381. 
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